Recently deep neural networks, which require a large amount of annotated samples, have been widely applied in nuclei instance segmentation of H\&E stained pathology images. However, it is inefficient and unnecessary to label all pixels for a dataset of nuclei images which usually contain similar and redundant patterns. Although unsupervised and semi-supervised learning methods have been studied for nuclei segmentation, very few works have delved into the selective labeling of samples to reduce the workload of annotation. Thus, in this paper, we propose a novel full nuclei segmentation framework that chooses only a few image patches to be annotated, augments the training set from the selected samples, and achieves nuclei segmentation in a semi-supervised manner. In the proposed framework, we first develop a novel consistency-based patch selection method to determine which image patches are the most beneficial to the training. Then we introduce a conditional single-image GAN with a component-wise discriminator, to synthesize more training samples. Lastly, our proposed framework trains an existing segmentation model with the above augmented samples. The experimental results show that our proposed method could obtain the same-level performance as a fully-supervised baseline by annotating less than 5% pixels on some benchmarks.

Masked Modeling (MM) has demonstrated widespread success in various vision challenges, by reconstructing masked visual patches. Yet, applying MM for large-scale 3D scenes remains an open problem due to the data sparsity and scene complexity. The conventional random masking paradigm used in 2D images often causes a high risk of ambiguity when recovering the masked region of 3D scenes. To this end, we propose a novel informative-preserved reconstruction, which explores local statistics to discover and preserve the representative structured points, effectively enhancing the pretext masking task for 3D scene understanding. Integrated with a progressive reconstruction manner, our method can concentrate on modeling regional geometry and enjoy less ambiguity for masked reconstruction. Besides, such scenes with progressive masking ratios can also serve to self-distill their intrinsic spatial consistency, requiring to learn the consistent representations from unmasked areas. By elegantly combining informative-preserved reconstruction on masked areas and consistency self-distillation from unmasked areas, a unified framework called MM-3DScene is yielded. We conduct comprehensive experiments on a host of downstream tasks. The consistent improvement (e.g., +6.1 mAP@0.5 on object detection and +2.2% mIoU on semantic segmentation) demonstrates the superiority of our approach.

The mainstream of the existing approaches for video prediction builds up their models based on a Single-In-Single-Out (SISO) architecture, which takes the current frame as input to predict the next frame in a recursive manner. This way often leads to severe performance degradation when they try to extrapolate a longer period of future, thus limiting the practical use of the prediction model. Alternatively, a Multi-In-Multi-Out (MIMO) architecture that outputs all the future frames at one shot naturally breaks the recursive manner and therefore prevents error accumulation. However, only a few MIMO models for video prediction are proposed and they only achieve inferior performance due to the date. The real strength of the MIMO model in this area is not well noticed and is largely under-explored. Motivated by that, we conduct a comprehensive investigation in this paper to thoroughly exploit how far a simple MIMO architecture can go. Surprisingly, our empirical studies reveal that a simple MIMO model can outperform the state-of-the-art work with a large margin much more than expected, especially in dealing with longterm error accumulation. After exploring a number of ways and designs, we propose a new MIMO architecture based on extending the pure Transformer with local spatio-temporal blocks and a new multi-output decoder, namely MIMO-VP, to establish a new standard in video prediction. We evaluate our model in four highly competitive benchmarks (Moving MNIST, Human3.6M, Weather, KITTI). Extensive experiments show that our model wins 1st place on all the benchmarks with remarkable performance gains and surpasses the best SISO model in all aspects including efficiency, quantity, and quality. We believe our model can serve as a new baseline to facilitate the future research of video prediction tasks. The code will be released.

图形神经网络（GNNS）在图表表示学习中获得了动力，并在各种领域（例如数据挖掘）（\ emph {e.g。，}社交网络分析和推荐系统），计算机视觉（\ emph {例如，}对象检测和点云学习）和自然语言处理（\ emph {e.g。，}关系提取和序列学习），仅举几例。随着自然语言处理和计算机视觉中变压器的出现，图形变压器将图形结构嵌入到变压器体系结构中，以克服局部邻域聚集的局限性，同时避免严格的结构电感偏见。在本文中，我们从面向任务的角度介绍了计算机视觉中GNN和图形变压器的全面综述。具体来说，我们根据输入数据的模式，\ emph {i.e。，} 2D自然图像，视频，3D数据，Vision +语言和医学图像，将其在计算机视觉中的应用分为五个类别。在每个类别中，我们根据一组视觉任务进一步对应用程序进行划分。这种面向任务的分类法使我们能够检查如何通过不同的基于GNN的方法以及这些方法的表现如何解决每个任务。基于必要的初步，我们提供了任务的定义和挑战，对代表性方法的深入报道以及有关见解，局限性和未来方向的讨论。

精确地重建由单个图像的各种姿势和服装引起的精确复杂的人类几何形状非常具有挑战性。最近，基于像素对齐的隐式函数（PIFU）的作品已迈出了一步，并在基于图像的3D人数数字化上实现了最先进的保真度。但是，PIFU的培训在很大程度上取决于昂贵且有限的3D地面真相数据（即合成数据），从而阻碍了其对更多样化的现实世界图像的概括。在这项工作中，我们提出了一个名为selfpifu的端到端自我监督的网络，以利用丰富和多样化的野外图像，在对无约束的内部图像进行测试时，在很大程度上改善了重建。 SelfPifu的核心是深度引导的体积/表面感知的签名距离领域（SDF）学习，它可以自欺欺人地学习PIFU，而无需访问GT网格。整个框架由普通估计器，深度估计器和基于SDF的PIFU组成，并在训练过程中更好地利用了额外的深度GT。广泛的实验证明了我们自我监督框架的有效性以及使用深度作为输入的优越性。在合成数据上，与PIFUHD相比，我们的交叉点（IOU）达到93.5％，高18％。对于野外图像，我们对重建结果进行用户研究，与其他最先进的方法相比，我们的结果的选择率超过68％。

我们提出了一个新的框架，以重建整体3D室内场景，包括单视图像的房间背景和室内对象。由于室内场景的严重阻塞，现有方法只能产生具有有限几何质量的室内物体的3D形状。为了解决这个问题，我们提出了一个与实例一致的隐式函数（InstPifu），以进行详细的对象重建。与实例对齐的注意模块结合使用，我们的方法有权将混合的局部特征与遮挡实例相结合。此外，与以前的方法不同，该方法仅代表房间背景为3D边界框，深度图或一组平面，我们通过隐式表示恢复了背景的精细几何形状。在E SUN RGB-D，PIX3D，3D-FUTURE和3D-FRONT数据集上进行的广泛实验表明，我们的方法在背景和前景对象重建中均优于现有方法。我们的代码和模型将公开可用。

半监督域的适应性（SSDA）旨在将从完全标记的源域学习的知识应用于几乎没有标记的目标域。在本文中，我们为SSDA提出了一个多级一致性学习（MCL）框架。具体而言，我们的MCL将目标域样本的不同视图的一致性定于三个级别：（i）在域间级别，我们使用基于原型的最佳传输方法来稳健，准确地对齐源和目标域，该方法利用了PROS和PROS和PROS域目标样本不同观点的缺点； （ii）在域内层面上，我们通过提出新颖的班级对比聚类损失来促进歧视性和紧凑的目标特征表示。 （iii）在样本级别，我们遵循标准实践，并通过进行基于一致性的自我训练来提高预测准确性。从经验上，我们验证了MCL框架对三个流行的SSDA基准的有效性，即Visda2017，域名和办公室家庭数据集，实验结果表明我们的MCL框架可以实现最新的性能。

许多基本的室内活动，例如饮食或写作，总是在不同的桌面上（例如咖啡桌，写桌）进行。在3D室内场景解析应用程序中了解桌面场景是必不可少的。不幸的是，由于3D桌面场景在当前数据集中很少可用，因此很难通过直接部署数据驱动算法来满足这一需求。为了解决此缺陷，我们介绍了To-Scene，这是一个专注于桌面场景的大规模数据集，其中包含20,740个带有三个变体的场景。为了获取数据，我们设计了一个高效且可扩展的框架，在该框架中开发了众包UI将CAD对象从模型网和Shapenet传递到扫描室的桌子上，然后将输出桌面场景模拟为真实的扫描并自动注释。此外，提出了一种桌面吸引的学习策略，以更好地感知小型桌面实例。值得注意的是，我们还提供了真正的扫描测试集，以验证待机的实际价值。实验表明，经过训练的to-Scene的算法确实在现实的测试数据上工作，而我们提出的桌面感知学习策略极大地改善了3D语义细分和对象检测任务的最新结果。数据集和代码可在https://github.com/gap-lab-cuhk-sz/to-scene上找到。

现实世界图像超分辨率（SR）的关键挑战是在低分辨率（LR）图像中恢复具有复杂未知降解（例如，下采样，噪声和压缩）的缺失细节。大多数以前的作品还原图像空间中的此类缺失细节。为了应对自然图像的高度多样性，他们要么依靠难以训练和容易训练和伪影的不稳定的甘体，要么诉诸于通常不可用的高分辨率（HR）图像中的明确参考。在这项工作中，我们提出了匹配SR（FEMASR）的功能，该功能在更紧凑的特征空间中恢复了现实的HR图像。与图像空间方法不同，我们的FEMASR通过将扭曲的LR图像{\ IT特征}与我们预读的HR先验中的无失真性HR对应物匹配来恢复HR图像，并解码匹配的功能以获得现实的HR图像。具体而言，我们的人力资源先验包含一个离散的特征代码簿及其相关的解码器，它们在使用量化的生成对抗网络（VQGAN）的HR图像上预估计。值得注意的是，我们在VQGAN中结合了一种新型的语义正则化，以提高重建图像的质量。对于功能匹配，我们首先提取由LR编码器组成的LR编码器的LR功能，然后遵循简单的最近邻居策略，将其与预读的代码簿匹配。特别是，我们为LR编码器配备了与解码器的残留快捷方式连接，这对于优化功能匹配损耗至关重要，还有助于补充可能的功能匹配错误。实验结果表明，我们的方法比以前的方法产生更现实的HR图像。代码以\ url {https://github.com/chaofengc/femasr}发布。

点云的语义分割通常依赖于累累且昂贵的致密注释，因此它吸引了广泛的关注，以研究弱监督方案的解决方案，仅稀疏点注释。现有作品从给定的标签开始，并将其传播到高度相关但无标记的点，例如数据的指导，例如内部关系。但是，它遭受了（i）对数据信息的效率低下的利用，并且（ii）在给出更少的注释时，很容易抑制对标签的强烈依赖。因此，我们提出了一个新颖的框架，即DimpMatch，它通过将一致性正则化应用于数据本身的足够探测信息，并同时利用弱标签作为帮助，该框架具有数据和标签。通过这样做，可以从数据和标签中学习有意义的信息，以获得更好的表示，这也使模型可以在标签稀疏度的范围内更强大。简单而有效的是，提议的尖头竞赛在Scannet-V2和S3DIS数据集上都在各种弱监督的方案下实现了最先进的性能，尤其是在具有极为稀疏标签的设置上，例如。在0.01％和0.1％的扫描仪V2设置上，SQN超过21.2％和17.2％。